CTO教育思想库 | 丁文璿：负责任的人工智能

编者按

华东师大上海国际首席技术官学院推出CTO教育思想库系列，多方位多角度传播学院确立的人才培养理念，即将科技与管理结合、技术与商业化整合、“科学家精神”与“企业家精神”融合。

今天我们推荐的是，法国里昂商学院人工智能与商业分析教授、上海国际首席技术官学院特聘国际课程教授、美国卡内基梅隆大学认知科学和信息技术博士丁文璿以“负责任的人工智能”为题发表的演讲。该演讲发表于2022年4月7日，为华东师大上海国际首席技术官学院举办的“名师讲堂”系列活动第十讲。以下为发言精编。

01

人工智能备受关注的话题与治理法规

当下人类社会在加速迈向数字化、智能化的进程，人工智能越来越多、深层次、广泛地嵌入人们日常生活的方方面面。在社会层面上，我们看到很多人工智能技术的体现，例如在工业生产中的智能制造与机器人工厂，在物流仓储行业中使用的移动式智能车，在医疗健康行业中的智能诊断与新药研发，在金融股票市场上的高频交易系统，还有在服务行业中广泛出现的服务机器人，如2022年北京冬奥会餐厅、奥运村与机器人厨师等场景中的应用。

此外，随着数字经济的发展，人工智能作为我们经济活动中的一种新生产力，使得我们人力资源领域方面除了过去的蓝领和白领，现在又出现了新的“数字领”。因此，很多人担心人工智能技术的发展可能会使相当一部分人失业。与此同时，人工智能技术的使用也带来了其它一些问题与风险。如电商与直播平台广泛使用的用户偏好推荐和大数据杀熟的现象，人脸识别带来的隐私安全问题，自动驾驶事故频发、问责难的问题，人工智能技术被不法分子滥用从事网络犯罪、生产和传播假新闻、合成虚假影像等等。引发了社会大众、媒体、各行各业研究学者们对人工智能伦理与治理方面的广泛讨论。

通过梳理我们发现，大家都在探讨一些非常相似的概念，虽然用了不同的词汇，但究其背后的定义，大致可以总结为：隐私问题、人工智能算法的公平公正性（或者偏见与歧视）问题、人工智能决策的透明与可解释性问题、人工智能使用的安全与可控问题、以及人工智能的责任与对人工智能的信任问题。

为了应对与解决这些风险问题，许多政府机构、非盈利组织、大型高科技产业等相继出台了一系列条例、法规和措施。例如，2016年4月欧盟出台了《通用数据保护条例》；2017年12月，国际电气和电子工程师协会（IEEE）出台了《人工智能设计的伦理准则》；2020年欧盟进一步出台了人工智能的规范，致力于如何建立可信任的人工智能。同时，许多大型互联网企业包括谷歌、脸书、腾讯、百度、京东等都出台了相应的人工智能系统开发的伦理框架。

最近，在2022年3月20日，中共中央办公厅、国务院办公厅印发了一个最新的《关于加强科技伦理治理的意见》。它是中国首个国家层面科技伦理治理指导性文件。该文件强调智能科技服务人类的时候，必须要增加人类的福祉，不仅必须要尊重生命的权利（尤其用于在生命科学和生物科技类方面的技术），还要尊重个人的隐私。而且，科技服务一定要坚持公平公正的原则，对做出的决策过程以及机制保持公开透明，并对可能产生的风险能够及时控制。该文件为新兴技术伦理治理设置了“红绿灯”。

02

人工智能治理的挑战

虽然已经出台了各种各样的关于对人工智能技术从数据采集与管理、算法设计到系统使用的条例与法规，但是，我们对人工智能的风险治理仍然面临巨大的挑战。难点或者关键点就在于：如果让机器具有人类伦理道德意识，我们就必须设计相应的算法，而我们人类对道德的性质和关键的道德价值还没有达到统一的共识。尤其在哲学层面上，全世界对伦理道德的评判标准和价值取向就有不同的流派和标准。

例如，在不同的场景下，我们该如何决定与某个道德规则所对应的道德代码的价值取向？是应该采用“功利主义（utilitarian cost-benefit）”方法还是“康德式的成本效益方法（某些价值是不能被交易的，不管它会有多少好处）”？即使经济学中广泛的答案是采用功利主义的，对它的算法代码量化也是非常困难的。比如我们应该如何对一辆无人驾驶汽车进行编程。让它在行驶中面对行人躲避时，是重视车外三个老人的生命？还是保护车内一个中年人的生命？如果车内是孕妇、而车外是儿童，又该如何决策呢？如果人类社会多个道德规则都符合该场景的应用，那么这些道德规则该如何竞争（即如何设计道德规范的竞争规则）才使得机器最终表现出值得我们每个使用者都信赖，都认为是公平的智能行为呢？

又例如，各企业在运用人工智能技术时应该如何平衡隐私、公平、准确和安全之间的权衡？在按照经济学追求最大经济利益的原则下，所有这些类型的风险都可以避免吗？

03

更新人工智能的顶层设计是解决风险治理的核心

我们知道无论智能机器外形怎样变化，它们都有一个统一的基本架构核心：输入➡CPU处理➡输出（如图所示）。

我们知道机器的智能行为并不是一个条件反射。我们人工智能研究关注的是：中间这部分处理流程做了什么，才使得最后的输出端看起来是智能的！因此从过去直到现在，研究学者们共同的想法就是如何给非生命的机器赋予人类意识思维的过程。

目前出现的问题是，我们让机器生成智能的方式——“人工智能”带来了人们对它的伦理和风险治理的诉求。比如，当前让机器生成智能的方法之一是利用（大）数据来找模式，并把这个模式定义为机器通过“学习”产生了智能。它的目的就是要从输入的数据中找个类似于Y =f(W_i,X_i），for i = 1,2, …n 的模式；这里X_i是输入，每个输入都有一定的权重W_i（参数），Y是输出。在这个过程中，研究者们所关心的是，不知道该怎么让机器产生学习能力。因此，需要用相同场景下的大量数据对机器进行训练。在训练的时候，还要假设我们对这些训练数据的内在生成机制是事先知道的（即数据的分布是已知的）。通过不停的训练，使得输出端达到预想的期望结果。这时，如果有个新的数据进来，带入这样一个训练好的模式里，就得到一个对应的Y，它就表征了机器的预测结果。为了达到非常好的输出结果，系统开发者们苦思冥想了不同的方法，如在输入和输出端之间增加多层“学习”机制（即各种神经网络的深度学习是一个例子）。通过不断的调参（调节权重），希望输出端得到很好的结果。

如果需要解决的问题场景的数据与机器已经训练的数据不是来自同一场景的，那么运用已经训练好的模式进行决策，就会产生“偏见与歧视”问题。这是因为过去的训练数据不足以保证其训练得到的智能适用于新的场景特征。所以，这种“依赖数据生成模式并被定义为机器智能的方式”的致命点就是：

（1）过去学习到的知识不能被再利用（即这个学习到的智能是不能够传递的，对每一个新问题的求解都需要有一个对应的数据集进行训练），因为它是依赖训练数据而生成智能的，它是没有记忆的。

（2）这种智能生成的方式天生就会产生“偏见与歧视”，因为训练数据集不可能代表所有未知场景的特征属性（即新的场景也不一定符合训练数据的特征）。

（3）输入端到输出端模式扑捉到的是输入数据对结果的相关性关系，而非因果关系，因此输出的结果不一定能够完全反映场景数据内在的本质属性。

（4）输入到输出的中间调参以及多层深度学习的网络关系是不透明的，其处理过程和输出端的最终结果都不具有可解释性。

因此，我们认为解决人工智能伦理问题的关键还是在于机器生成智能的方式，即在从输入到输出的中间处理层。我们该设计什么样的算法，才使得在输出端我们能看到机器表现出的行为不仅是智能的。更重要的是，它的智能行为的产生，或者在生成智能决策时用到的数据是保护隐私的；这些智能的行为和决策结果是以人类的利益为中心，并且给人类带来福祉的；输出端的行为或者决策结果不仅是公平公正的，而且机器内部生成决策的过程是透明的，决策结论也是能够给站在输入端的用户或者消费者解释清楚的。

在更新人工智能顶层设计时，有几个关键点需要考虑：

* 产生智能的要素：我们是否必须要用“涉及人类隐私/敏感信息的”数据作为机器智能生成的要素，并以此作为提供“个性化”服务的基础？

* 产生智能的方式：我们是否要靠“大数据堆积去产生机器智能”？

* 算法决策判定与价值取向：是否必须遵循经济学理论依赖最大（优）“效益”原则，而不考虑“利他”要素?

*机器的智能行为作用于谁，最终目的是什么？

04

“尽责五元素”框架落地人工智能

我们提出负责任人工智能的框架来解决当前人工智能所带来的问题。根据Merriam-Webster字典，“负责任（Responsible）”这个词包含5个层面的涵义：

1.    Liable to be called on to answer; liable to legal review or in case of fault to penalties ➡ take responsible, accountability;

2.    Liable to be called to account as the primary cause, motive or agent ➡ explainable;

3.    Able to answer for one’s conduct and obligations ➡ covering privacy;

4.    Able to choose between right and wrong, having a capacity for moral decisions;

5.    Capable of making rational thought or action.

这5个层面的涵义刚好对应人工智能治理中的5个问题（如图所示）。

“尽责五元素”如果落地到“人”，则需要考虑“开发者”（Developer，人工智能系统的开发和算法编码者），“采纳者”（Deployer，决定在本公司或组织是否采用人工智能系统的决策者），“使用者”（User，操作或使用人工智能系统的人），和“消费者或被作用者”（Consumer，接受人工智能系统服务的人群）。我们需要检测采用人工智能系统的目的是什么？谁是受益人？作用于“谁”的问题。比如：如果将人工智能应用到对公司或组织内员工的管理，那么，企业对员工的这种管理能够运用到什么程度？使用中产生的“负”面后果该由谁负责：是开发者，采纳者，还是使用者负责？这一点在医疗健康行业使用AI技术时尤为重要，因为它关系到患者的生命保障与权益。

由于目前我们所有的人工智能算法大都是由人设计的，因此它的逻辑设计就反映了开发者的价值取向，包括用什么样的数据作为训练集，场景该怎么描述，应该选择哪些特征变量等。我们需要的是以“人（被作用者）”为本的，具有“利他”性的负责任人工智能技术。我们要知道科学是在给定（实验，分析，假设）条件下探求世界的规律，是“求真”的结果。但是，这个结果至少不能事前确定其有用性！而技术的本质是“务实”，是在已知终点的情况下寻求实现结果的适当条件。我们希望人工智能技术越来越科学！

嘉宾简介

丁文璿

华东师大上海国际首席技术官学院

特聘国际课程教授

法国里昂商学院人工智能与商业分析教授、脑认知与计算智慧研究中心主任。获美国卡内基梅隆大学认知科学和信息技术博士，并拥有计算机科学学士和硕士学位。她的研究方向是尽责与可信任的人工智能、风险治理、科学发现与思维模型、智慧医疗、人工智能在商业上的应用。

在教学方面，她为博士生、硕士生、本科生、DBA、EMBA等学生开设并主讲过《尽责人工智能》《人工智能中的偏见与歧视》《智慧医疗》《AI赋能数字化转型》《人工智能与自主驾驶》《人工智能在管理科学前沿专题》《人工智能方法与原理》《平台生态系统》等多门新兴课程。

华东师范大学工程管理硕士专业学位点于2021年设立，由华东师范大学实体教学科研机构上海国际首席技术官学院负责招生和培养。学院聚焦人工智能、集成电路、生物医药和若干战略性新兴产业，培养首席技术官和未来科技型战略企业家，服务国家科技创新发展战略。

向上滑动

上海国际首席技术官学院

SHANGHAI INTERNATIONAL SCHOOL

OF CHIEF TECHNOLOGY OFFICER

"通过人和技术的协同转化

实现科技的社会价值"

扫码关注

获取更多资讯